近邻|神经元_神经网络入门（详细）

篇首语：本文由编程笔记#小编为大家整理，主要介绍了神经网络入门（详细 ）相关的知识，希望对你有一定的参考价值。

文章目录

• • 机器学习流程
  • • • 传统特征提取方法&＃xff1a;
      • 为什么需要深度学习
      
      
    
    
  • 图像分类
  • • 计算机视觉面临的挑战
    • 机器学习常规套路
    
    
  • K近邻
  • • K近邻算法
    • K近邻计算流程&＃xff1a;
    • K近邻分析
    • • 距离的选择&＃xff1a;
      • 为什么K近邻不能用来图像分类&＃xff1f;
      
      
    
    
  • 神经网络基础
  • • 线性函数
    • • 计算方法
      
      
    • 损失函数
    • • 损失函数
        
        
        
        
        
        L
        
        
        i
        
        
        
        &＃61;
        
        
        
        ∑
        
        
        
        j
        
        
        ≠
        
        
        
        y
        
        
        i
        
        
        
        
        
        m
        
        
        a
        
        
        x
        
        
        (
        
        
        0
        
        
        ,
        
        
        
        s
        
        
        j
        
        
        
        −
        
        
        
        s
        
        
        
        y
        
        
        i
        
        
        
        
        &＃43;
        
        
        1
        
        
        )
        
        
        
        L_i&＃61;\\sum_j\\ne y_imax(0,s_j-s_y_i&＃43;1)
        
        
        Li​&＃61;∑j​&＃61;yi​​max(0,sj​−syi​​&＃43;1)
      • 正则化惩罚项
      • Softmax分类器
      
      
    • 前向传播
    • 反向传播
    • • 链式法则
      • 复杂的例子
      
      
    • 整体结构
    • • 正则化的作用
      • 参数个数对结果的影响
      • 激活函数
      • 数据预处理
      • 参数初始化
      • DROP-OUT&＃xff08;传说中的七伤拳&＃xff09;
      
      
    
    
  • 线性回归
  • • 梯度下降
    
    
  
  

机器学习流程

机器学习需要人工选取数据&＃xff0c;提取数据。
深度学习是机器学习的一部分。

• 数据获取
• 特征工程
  数据特征决定了模型的上限
  预处理和特征提取是最核心的
  算法与参数选择决定了如何逼近这个上限
• 建立模型
• 评估与应用

传统特征提取方法&＃xff1a;

为什么需要深度学习

·解决核心是&＃xff0c;如何去提取特征

图像分类

计算机视觉面临的挑战

• 照射角度
  
• 性状改变
  
• 部分遮蔽
  
• 背景混入
  

机器学习常规套路

1. 收集数据并给定标签
2. 训练一个分类器
3. 测试&＃xff0c;评估

K近邻

K近邻算法

数据&＃xff1a;两类点方块和三角
绿色的点属于方块还是三角呢&＃xff1f;
K&＃61;3还是K&＃61;5&＃xff1f;结果一样吗&＃xff1f;

K近邻计算流程&＃xff1a;

1. 就算已知类别数据集中的点与当前点的距离
2. 按照距离依次排序
3. 选取与当前点距离最小的K个点
4. 确定前K个点所在类别的出现概率
5. 返回前K个点出现频率最高的类别作为当前点预测分类

K近邻分析

KNN 算法本身简单有效&＃xff0c;它是一种 lazy-learning 算法。
分类器不需要使用训练集进行训练&＃xff0c;训练时间复杂度为0。
KNN 分类的计算复杂度和训练集中的文档数目成正比&＃xff0c;也就是说&＃xff0c;如果训练集中文档总数为 n&＃xff0c;那么 KNN 的分类时间复杂度为O&＃xff08;n&＃xff09;。
K 值的选择&＃xff0c;距离度量和分类决策规则是该算法的三个基本要素。

距离的选择&＃xff1a;

L1 distance&＃xff1a;





d


1



(



I


1



,



I


2



)


&＃61;



∑


p



∣



I


1


p



−



I


2


p



∣



d_1(I_1,I_2)&＃61;\\sum_p \\vert I_1^p - I_2^p \\vert


d1​(I1​,I2​)&＃61;∑p​∣I1p​−I2p​∣

为什么K近邻不能用来图像分类&＃xff1f;

背景主导是一个最大的问题&＃xff0c;我们关注的却是主体&＃xff08;主要成分&＃xff09;
如何才能让机器学习到哪些是重要的成分呢&＃xff1f;

神经网络基础

线性函数

从输入 --> 输出的映射

计算方法

什么样的 W 更适合我们的预期目标

损失函数

如何衡量分类的结果呢&＃xff1f;

结果的得分值有着明显的差异&＃xff0c;我们需要明确的指导模型的当前效果&＃xff0c;有多好或是多差&＃xff01;

如果损失函数的值相同&＃xff0c;那么意味着两个模型一样吗&＃xff1f;

在训练过程中&＃xff0c;关注权重参数是否会发生变异&＃xff0c;发生过拟合

损失函数





L


i



&＃61;



∑



j


≠



y


i





m


a


x


(


0


,



s


j



−



s



y


i




&＃43;


1


)



L_i&＃61;\\sum_j\\ne y_imax(0,s_j-s_y_i&＃43;1)


Li​&＃61;∑j​&＃61;yi​​max(0,sj​−syi​​&＃43;1)

损失函数其实有很多种&＃xff0c;我们来实验一个

S


j




S_j


Sj​ 错误类别&＃xff0c;





S



y


i





S_y_i


Syi​​ 正确类别
$\Delta$表示容忍程度

正则化惩罚项

神经网络的缺点就是太强了

$\lambda$越大&＃xff0c;抑制效果越强

Softmax分类器

现在我们得到的是一个输入的得分值&＃xff0c;但如果给我一个概率值岂不更好&＃xff01;

如何把一个得分值转换成一个概率值呢&＃xff1f;

归一化&＃xff1a;




P


(


Y


&＃61;


k


∣


x


&＃61;



x


i



)


&＃61;





e


s



k





∑


j




e


s



j





P(Y&＃61;k|x&＃61;x_i)&＃61; e^sk \\over \\sum_je^sj


P(Y&＃61;k∣x&＃61;xi​)&＃61;∑j​esjesk​






\\qquad


where



  


\\;







s


&＃61;


f


(



x


i



;


W


)



s&＃61;f(x_i;W)


s&＃61;f(xi​;W)
计算损失值&＃xff1a;





L


i



&＃61;


−


l


o


g


P


(


Y


&＃61;



y


i



∣


X


&＃61;



x


i



)



L_i&＃61;-logP(Y&＃61;y_i|X&＃61;x_i)


Li​&＃61;−logP(Y&＃61;yi​∣X&＃61;xi​)

交叉熵损失函数
通过对数函数求损失

前向传播

反向传播

从后往前&＃xff0c;逐层逐步传播

加法门单元&＃xff1a;均等分配
MAX门单元&＃xff1a;给最大的
乘法门单元&＃xff1a;互换的感觉

链式法则

梯度是一步一步传的
·

复杂的例子

整体结构

非线性&＃xff1a;激活函数sigmod、max、relu等

基本结构&＃xff1a;




f


&＃61;



W


2



m


a


x


(


0


,



W


1



x


)



f&＃61;W_2max(0,W_1x)


f&＃61;W2​max(0,W1​x)
继续堆叠一层&＃xff1a;




f


&＃61;



W


3



m


a


x


(


0


,



W


2



m


a


x


(


0


,



W


1



x


)


)



f&＃61;W_3max(0,W_2max(0,W_1x))


f&＃61;W3​max(0,W2​max(0,W1​x))
神经网络的强大之处在于&＃xff0c;用更多的参数来拟合复杂的数据
(参数多到多少呢&＃xff1f;百万级别都是小儿科&＃xff0c;但是参数越多越好吗?)

神经元个数越多&＃xff0c;得到的过拟合成对越大&＃xff0c;在计算机上得到的效果可能会越好&＃xff0c;运行速度相对会变慢。
https://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

正则化的作用

惩罚力度加大&＃xff0c;W更加正常&＃xff0c;边界更加平滑&＃xff0c;防止过拟合

参数个数对结果的影响

激活函数

非常重要的一部分

常用的激活函数&＃xff08;Sigmoid,Relu,Tanh等&＃xff09;

激活函数对比

Sigmod 函数可能会造成梯度消失
现在市面上多采用 Relu 函数及其变式

数据预处理

不同的预处理结果会使得模型的效果发生很大的差异。

参数初始化

参数初始化同样非常重要

通常我们都使用随机策略来进行参数初始化
$W\&＃61;0.01\ast np.random.randn(D,H)$

让W值尽可能比较小&＃xff0c;平滑

DROP-OUT&＃xff08;传说中的七伤拳&＃xff09;

过拟合是神经网络非常头疼的一个大问题&＃xff01;

在每一轮训练中&＃xff0c;随机选择一些神经元杀死。
在训练中&＃xff0c;每层每一次随机选择一部分杀死。

线性回归

梯度下降

目标函数&＃xff1a;




J


(



θ


0



,



θ


1



)


&＃61;



1



2


m





∑


1


m



(



h


θ



(



x



(


i


)




−



y



(


i


)




)


)



J(\\theta_0,\\theta_1) &＃61; 1 \\over 2m\\sum_1^m(h_\\theta(x^(i)-y^(i)))


J(θ0​,θ1​)&＃61;2m1​∑1m​(hθ​(x(i)−y(i)))

寻找山谷的最低点&＃xff0c;也就是我们的目标函数终点&＃xff08;什么样的参数能使得目标函数达到极值点&＃xff09;
下山分几步走呢&＃xff1f;&＃xff08;更新参数&＃xff09;
&＃xff08;1&＃xff09;&＃xff1a;找到当前最合适的方向
&＃xff08;2&＃xff09;&＃xff1a;走那么一小步&＃xff0c;走快了该“跌倒”了
&＃xff08;3&＃xff09;&＃xff1a;按照方向与步伐去更新我们的参数